A semi-automatic 2D/3D annotation framework for the geometric analysis of heritage artefacts

International audienceDocumentation and monitoring of heritage objects involve many actors on multidisciplinary aspects. The progress made over the years in the field of digital technologies has enabled many tools for analysis, management and dissemination of information gathered around an object. These tools must allow users to semantically describe the object while allowing them to grasp its morphological complexity and the heterogeneity of the available analysis supports. This article introduces an approach for the semantic annotation of heritage objects by using the bijective relationship that can be established between a 3D representation of an object and the set of oriented images towards it, while maintaining a continuum of information between all phases of observation and description, from acquisition to visualization of semantically enriched representations. The main idea is to offer a versatile environment to help extraction of relevant information from images using geometric descriptors and semi-automatic point cloud processing methods

Relevé numérique d’art pariétal : définition d’une approche innovante combinant propriétés géométriques, visuelles et sémantiques au sein d’un environnement de réalité mixte

The advances of the last decades in the fields of computer science and metrology have led to the development of efficient measurement tools allowing the digitization of the environment. Although digital technology has not fundamentally overhauled the principles of metric measurement, the improvement of their accuracy, automation and storage capacity has, on the other hand, been a decisive development in many fields. In the case of rock art surveying, their introduction has allowed a massive gathering of 2D and 3D data, meeting various needs for study, monitoring, documentation, archiving, or dissemination. These data provide new and valuable supports for the understanding of the objects of study, in particular concerning their morphological characterization. However, in spite of their great potentials, they often remain under-exploited due to the lack of tools facilitating their manipulation, analysis, and semantic enrichment in multidisciplinary study contexts. Moreover, these methods tend to relegate the cognitive and analytical engagement of the observer behind the measurement tool, causing a deep break between on-site study moments and all off-site processing, or in other words, between real and virtual work environments.This thesis proposes to address these problems by defining an integrated approach allowing the fusion of the geometric, visual and semantic aspects of surveying within a single multimodal mixed reality environment. At the crossroads of the fields of heritage information systems and mixed reality, our goal is to ensure an informational continuity between in situ and ex situ analysis activities. This study led to the development of a functional proof of concept allowing the visualization of 2D and 3D digital data from surveys and their semantic annotation in augmented reality through a web interface.Les progrès de ces dernières décennies dans les domaines de l’informatique et de la métrologie ont favorisé l’essor d’outils numériques de mesure de l’existant. Si le numérique n’a pas fondamentalement remis en question les principes de la mesure, l’amélioration de leur précision, de l’automatisation, et de la capacité de mémorisation ont, en revanche, constitué une évolution décisive dans de nombreuses disciplines. Dans le domaine du relevé d’art pariétal, leur introduction a rendu possible la collecte massive de données 2D et 3D en réponse à des besoins variés d’étude, de suivi, de documentation, d’archivage, ou encore de valorisation. Ces données constituent autant de nouveaux supports précieux pour la compréhension des objets d’étude, en particulier en ce qui concerne leur caractérisation morphologique. Cependant, malgré leurs nombreux potentiels, elles demeurent souvent sous-exploitées par manque d’outils facilitant leur manipulation, leur analyse, et leur enrichissement sémantique dans des contextes d’études pluridisciplinaires. En outre, ces méthodes tendent à reléguer l’engagement cognitif et analytique de l’observateur derrière son instrument de mesure, causant une rupture profonde entre les moments d’étude sur site et l’ensemble des traitements réalisés hors site, ou autrement dit, entre les environnements de travail réels et virtuels.Cette thèse propose de répondre à ces problèmes par la définition d’une approche intégrée permettant la fusion des aspects géométriques, visuels et sémantiques du relevé au sein d’un environnement de réalité mixte multimodal. En nous plaçant à la croisée des domaines des systèmes d’informations patrimoniaux et de la réalité mixte, notre objectif est de garantir la continuité des travaux menés in situ et ex situ. Ce travail a abouti au développement d’une preuve de concept fonctionnelle permettant la consultation de données numériques 2D et 3D issues de relevé et leur annotation sémantique en réalité augmentée via une interface web

Digital survey of rock art : definition of an innovative approach combining geometric, visual and semantic properties within a mixed reality environment

Les progrès de ces dernières décennies dans les domaines de l’informatique et de la métrologie ont favorisé l’essor d’outils numériques de mesure de l’existant. Si le numérique n’a pas fondamentalement remis en question les principes de la mesure, l’amélioration de leur précision, de l’automatisation, et de la capacité de mémorisation ont, en revanche, constitué une évolution décisive dans de nombreuses disciplines. Dans le domaine du relevé d’art pariétal, leur introduction a rendu possible la collecte massive de données 2D et 3D en réponse à des besoins variés d’étude, de suivi, de documentation, d’archivage, ou encore de valorisation. Ces données constituent autant de nouveaux supports précieux pour la compréhension des objets d’étude, en particulier en ce qui concerne leur caractérisation morphologique. Cependant, malgré leurs nombreux potentiels, elles demeurent souvent sous-exploitées par manque d’outils facilitant leur manipulation, leur analyse, et leur enrichissement sémantique dans des contextes d’études pluridisciplinaires. En outre, ces méthodes tendent à reléguer l’engagement cognitif et analytique de l’observateur derrière son instrument de mesure, causant une rupture profonde entre les moments d’étude sur site et l’ensemble des traitements réalisés hors site, ou autrement dit, entre les environnements de travail réels et virtuels.Cette thèse propose de répondre à ces problèmes par la définition d’une approche intégrée permettant la fusion des aspects géométriques, visuels et sémantiques du relevé au sein d’un environnement de réalité mixte multimodal. En nous plaçant à la croisée des domaines des systèmes d’informations patrimoniaux et de la réalité mixte, notre objectif est de garantir la continuité des travaux menés in situ et ex situ. Ce travail a abouti au développement d’une preuve de concept fonctionnelle permettant la consultation de données numériques 2D et 3D issues de relevé et leur annotation sémantique en réalité augmentée via une interface web.The advances of the last decades in the fields of computer science and metrology have led to the development of efficient measurement tools allowing the digitization of the environment. Although digital technology has not fundamentally overhauled the principles of metric measurement, the improvement of their accuracy, automation and storage capacity has, on the other hand, been a decisive development in many fields. In the case of rock art surveying, their introduction has allowed a massive gathering of 2D and 3D data, meeting various needs for study, monitoring, documentation, archiving, or dissemination. These data provide new and valuable supports for the understanding of the objects of study, in particular concerning their morphological characterization. However, in spite of their great potentials, they often remain under-exploited due to the lack of tools facilitating their manipulation, analysis, and semantic enrichment in multidisciplinary study contexts. Moreover, these methods tend to relegate the cognitive and analytical engagement of the observer behind the measurement tool, causing a deep break between on-site study moments and all off-site processing, or in other words, between real and virtual work environments.This thesis proposes to address these problems by defining an integrated approach allowing the fusion of the geometric, visual and semantic aspects of surveying within a single multimodal mixed reality environment. At the crossroads of the fields of heritage information systems and mixed reality, our goal is to ensure an informational continuity between in situ and ex situ analysis activities. This study led to the development of a functional proof of concept allowing the visualization of 2D and 3D digital data from surveys and their semantic annotation in augmented reality through a web interface

Towards a SLAM-based augmented reality application for the 3D annotation of rock art

International audienc

Harmonisation et diffusion des ressources numériques 3D des grottes ornées

National audienceThe national centre for prehistory (CNP, Centre national de la Préhistoire) serves as a depository for all the digital resources concerning prehistoric caves and shelters with parietal wall paintings. The centre tries to carry out a campaign of 3D digitisation every year in order to enrich its holdings. These resources are at one and the same time archival records of parietal painting and material for their future conservation, study and interpretation. Because they have not undergone any treatment or manipulation likely to bias their interpretation, this raw data represents for the centre and its partners a precious resource for documenting and studying prehistoric sites. So today it has become very important to better document and formalise these resources in order to guarantee their preservation and availability, both for the general public and for experts. Consequently, the centre has recently joined forces with the UMR MAP team, specialised in models and simulations for architecture and the heritage, in the framework of a general agreements between the Ministry of Culture and the CNRS and aiming at a better characterisation of the data so far acquired, and its better diffusion. The first point involves the production of pertinent descriptors in order to accompany the 3D data with clear cataloguing information about provenance, nature and quality. The second aspect of the project involves harmonising the data and ensuring its perpetuation and the development of prototype web platforms allowing for visualisation and manipulation via an adaptive interface. The project is part of a broader programme aimed at making a contribution to the traceability of 3D digital imagery produced for scientific research. In this article we propose a progress report on the work far carried out on digital data for parietal art, with particular focus on the recent developments in the visualisation of 3D data.Dépositaire des ressources numériques des grottes et abris ornés, le Centre national de la préhistoire (CNP) s’attache à encourager et à réaliser en moyenne une campagne de numérisation 3D par an, afin d’enrichir ce fonds de données. Ces ressources constituent à la fois des archives des sites d’art pariétal et des supports pour leur conservation, leur étude et leur médiation. Du fait qu’elles n’ont subi aucun traitement ou manipulation susceptibles de biaiser leur exploitation, les données brutes constituent pour le CNP et ses partenaires une ressource précieuse pour l’étude et la documentation des sites ornés. Ainsi, il devient aujourd’hui impératif de s’intéresser à la documentation et la formalisation de ces ressources, afin de les pérenniser et garantir leur utilisation au bénéfice du plus grand nombre, qu’il s’agisse d’experts ou du grand public. À ce titre, le CNP a sollicité l’UMR MAP (Modèles et simulations pour l’architecture et le patrimoine) pour initier ensemble dans le cadre de l’accord-cadre CNRS-ministère de la Culture un travail d’une part sur la description de ces données et d’autre part sur leur diffusion. Le premier point implique de produire des descripteurs pertinents permettant d’accompagner les données 3D d’indications claires quant à leur provenance, leur nature et leur qualité. Le second aspect implique l’harmonisation et la pérennisation des données, ainsi que le développement d’un prototype de plateforme web permettant leur visualisation et manipulation à travers une interface adaptative. Ce travail s’inscrit dans une réflexion plus globale dont l’objectif est de contribuer à la traçabilité des données numériques 3D destinées à des utilisations scientifiques. Nous proposons dans cet article de détailler l’ensemble du travail réalisé dans le cadre de ce projet sur les ressources numériques des grottes ornées, en s’intéressant particulièrement aux développements réalisés pour la visualisation des données 3D

Projet Grottes Ornées : Classification, description, et diffusion de ressources numériques 3D

International audienceDépositaire des ressources numériques des sites d’art pariétal parmi lesquels les plus notoires du patrimoine national, le Centre National de la Préhistoire entreprend environ une campagne de relevé 3D par an pour enrichir ce fond de données publiques. Les « Grottes Ornées » constituent un patrimoine sensible, à étudier, conserver, valoriser

Projet Grottes Ornées : Classification, description, et diffusion de ressources numériques 3D

International audienceDépositaire des ressources numériques des sites d’art pariétal parmi lesquels les plus notoires du patrimoine national, le Centre National de la Préhistoire entreprend environ une campagne de relevé 3D par an pour enrichir ce fond de données publiques. Les « Grottes Ornées » constituent un patrimoine sensible, à étudier, conserver, valoriser

Toward a Data Fusion Index for the Assessment and Enhancement of 3D Multimodal Reconstruction of Built Cultural Heritage

In the field of digital cultural heritage (DCH), 2D/3D digitization strategies are becoming more and more complex. The emerging trend of multimodal imaging (i.e., data acquisition campaigns aiming to put in cooperation multi-sensor, multi-scale, multi-band and/or multi-epochs concurrently) implies several challenges in term of data provenance, data fusion and data analysis. Making the assumption that the current usability of multi-source 3D models could be more meaningful than millions of aggregated points, this work explores a “reduce to understand” approach to increase the interpretative value of multimodal point clouds. Starting from several years of accumulated digitizations on a single use-case, we define a method based on density estimation to compute a Multimodal Enhancement Fusion Index (MEFI) revealing the intricate modality layers behind the 3D coordinates. Seamlessly stored into point cloud attributes, MEFI is able to be expressed as a heat-map if the underlying data are rather isolated and sparse or redundant and dense. Beyond the colour-coded quantitative features, a semantic layer is added to provide qualitative information from the data sources. Based on a versatile descriptive metadata schema (MEMoS), the 3D model resulting from the data fusion could therefore be semantically enriched by incorporating all the information concerning its digitization history. A customized 3D viewer is presented to explore this enhanced multimodal representation as a starting point for further 3D-based investigations

An immersive visualization kit for online 3D objects databases

International audienceThe present challenge to preserve cultural heritage, dealing with the rise of new technological advances in terms of spatial data gathering, led to the massive surge of digital content and more than anything, to 3D models. These models, supporting analysis and valuation in archeology, architecture, cultural heritage and furniture design, are often gathered within huge databases. The core question of this presentation concerns the optimal strategy for its distribution and the specific methods involved to access and navigate through its heterogeneous data system. This paper also describes our KIVI1 hardware and software platform for immersive visualization, defining an original easy-to-use data crawling approach, optimizing its dissemination and exploitation through diverse cultural heritage digital content